Knowledge Accumulator

Как параметризовать алгоритм обучения?

По всей видимости, мне нужно более понятно раскрыть эту тему, поскольку один из постов выше не вызвал никакого обсуждения, хотя, мне кажется, тема-то очень важная и интересная.

Итак, представим, что у нас есть система, обучающаяся чему-либо, например, классификации картинок. Чтобы оптимизировать обучаемость системы, нам нужно какое-то пространство для оптимизации, в котором мы будем изменять наши параметры в поиске лучшего алгоритма.

Самый известный способ параметризовать такой алгоритм - это программа на питоне, задающая архитектуру нейросети, трейнлуп, подсчёт ошибки и так далее. Оптимизацию в этом пространстве проводит человек почти вручную в рамках технологического прогресса. У этого есть 2 минуса:
1) Человечество - не самый лучший оптимизатор. Представьте, как если бы оно пыталось написать программу на питоне, которая берёт картинку и классифицирует по классам кошка/собака, без нейросетей.
2) Пространство "параметров" слишком структурировано. Человеческий интеллект задаёт ограничение на пространство алгоритмов, и то, что алгоритм состоит из длинной последовательности дискретных инструкций, в которой почти любая ошибка приводит к полной катастрофе, сильно затрудняет нам его оптимизацию автоматическими алгоритмами (например, генетическими). Иногда удаётся оптимизировать короткие программы, используя безумные ресурсы, как, например, в AutoMLZero, про который я писал пост.

Альтернативный способ параметризовать обучение системы - это, конечно же, ДНК. В нём закодировано поведение элементарной частицы, её деление, взаимодействие со своими копиями. Тот факт, что каждый кусочек ДНК влияет в разной степени на всю систему, не обязательно вызывая полный крах, и позволил эволюции оптимизировать адаптируемость человека к внешним вызовам, т.е. в том числе интеллект.

Как же я был приятно удивлён, когда обнаружил, что я не одинок в этих рассуждениях! Я нашёл статью, в которой авторы полностью переизобретают нейросети, не побоюсь этой фразы, и реально достигают успеха в мета-обучении. Об этом в следующем посте.

@knowledge_accumulator

www.tg-me.com/sa/Knowledge Accumulator/com.knowledge_accumulator/82

1.5K viewsJul 17, 2023 at 12:00

Как параметризовать алгоритм обучения?

По всей видимости, мне нужно более понятно раскрыть эту тему, поскольку один из постов выше не вызвал никакого обсуждения, хотя, мне кажется, тема-то очень важная и интересная.

Итак, представим, что у нас есть система, обучающаяся чему-либо, например, классификации картинок. Чтобы оптимизировать обучаемость системы, нам нужно какое-то пространство для оптимизации, в котором мы будем изменять наши параметры в поиске лучшего алгоритма.

Самый известный способ параметризовать такой алгоритм - это программа на питоне, задающая архитектуру нейросети, трейнлуп, подсчёт ошибки и так далее. Оптимизацию в этом пространстве проводит человек почти вручную в рамках технологического прогресса. У этого есть 2 минуса:
1) Человечество - не самый лучший оптимизатор. Представьте, как если бы оно пыталось написать программу на питоне, которая берёт картинку и классифицирует по классам кошка/собака, без нейросетей.
2) Пространство "параметров" слишком структурировано. Человеческий интеллект задаёт ограничение на пространство алгоритмов, и то, что алгоритм состоит из длинной последовательности дискретных инструкций, в которой почти любая ошибка приводит к полной катастрофе, сильно затрудняет нам его оптимизацию автоматическими алгоритмами (например, генетическими). Иногда удаётся оптимизировать короткие программы, используя безумные ресурсы, как, например, в AutoMLZero, про который я писал пост.

Альтернативный способ параметризовать обучение системы - это, конечно же, ДНК. В нём закодировано поведение элементарной частицы, её деление, взаимодействие со своими копиями. Тот факт, что каждый кусочек ДНК влияет в разной степени на всю систему, не обязательно вызывая полный крах, и позволил эволюции оптимизировать адаптируемость человека к внешним вызовам, т.е. в том числе интеллект.

Как же я был приятно удивлён, когда обнаружил, что я не одинок в этих рассуждениях! Я нашёл статью, в которой авторы полностью переизобретают нейросети, не побоюсь этой фразы, и реально достигают успеха в мета-обучении. Об этом в следующем посте.

@knowledge_accumulator

BY Knowledge Accumulator